Giám mục Huỳnh Văn Nghi sinh ngày 1 tháng 5 năm 1927 tại Giáo xứ Vĩnh Hội, Quận Nhì, Sài Gòn (nay thuộc phường 6, quận 4, thành phố Hồ Chí Minh) và được rửa tội theo nghi lễ Công giáo sau đó vào ngày 15 tháng 5 cùng năm tại nhà thờ Cầu Kho. Cha ông là một công nhân đường sắt, có 12 người con, Giám mục Huỳnh Văn Nghi là người con thứ 7. Song thân của giám mục Huỳnh Văn Nghi là ông Phêrô Huỳnh Văn Độ (1893 – 1979), quê ở Tân Thới Nhì - huyện Hóc Môn (nay là phường Tân Thới Nhì, quận 12) và bà Anna Nguyễn Thị Nên (1898 – 1976), quê tại Tân Quý Đông.

Ngày 10 tháng 8 năm 1939, gia đình cho cậu bé Huỳnh Văn Nghi theo học tại Tiểu chủng viện Thánh Giuse Sài Gòn để dự tu. Sau Cách mạng Tháng Tám 1945, chủng viện tạm đóng cửa nên cậu bé Nghi trở về sống với gia đình. Sau đó hai năm, ngày 13 tháng 8 năm 1947, chủng sinh Huỳnh Văn Nghi được kêu gọi tiếp tục con đường tu học bằng cách nhập học tại Đại chủng viện Thánh Giuse Sài Gòn. Chủng sinh Huỳnh Văn Nghi đã học phân môn triết học tại đây và sau đó được đi du học ở Chủng viện Issy les Moulineaux (Pháp) từ năm 1950.[2][3]